Knox lên bờ ở Dieppe, Pháp, rồi đi tiếp đến Geneva, đang ở dưới quyền lãnh đạo của John Calvin. Tuy nhiên, thời điểm Knox đến Geneva là lúc Calvin đang gặp khó khăn. Ông vừa ra lệnh xử tử Michael Servetus vì tội dị giáo, điều này khiến uy tín của ông sút giảm, và cả thành phố chống lại ông. Calvin khuyên Knox đến gặp nhà cải cách Thụy Sĩ Heinrich Bullinger ở Zürich. Ngày 20 tháng 7 năm 1554, Knox phát hành một tiểu luận chỉ trích Mary Tudor và các giám mục đã tôn bà lên ngai.[36] Ông cũng đả kích Hoàng đế Thánh chế La Mã, Charles V, gọi Charles là "thù nghịch Chúa Cơ Đốc chẳng khác gì Nero."[37]

Tháng 9 năm 1554, Knox nhận lời làm quản nhiệm cho một giáo đoàn người Anh tị nạn tại Frankfurt, nhưng do những bất đồng về giáo nghi, ngày 26 tháng 3 năm 1555 Knox rời Frankfurt. Đây là thời điểm đánh dấu sự đoạn tuyệt của Knox với Giáo hội Anh.[38][39]

Sau khi trở lại Geneva, Knox được chọn làm quản nhiệm một địa điểm thờ phượng mới được thành lập. Cùng lúc, Knox nhận thư của Elizabeth Bowes yêu cầu Knox trở về với Marjorie. Cuối tháng 8 Knox trở lại Scotland,[40] nhận thấy quê hương trải qua nhiều thay đổi kể từ ngày ông bị bắt làm tù binh và buộc phải lao dịch trên chiến thuyền Pháp năm 1547. Khi Knox đi đến nhiều nơi tại Scotland để rao giảng giáo thuyết và giáo nghi cải cách, ông được nhiều nhà quý tộc đón tiếp, trong đó có James Stewart, Bá tước Moray, và John Erskine, Bá tước Mar. Về sau, cả hai đều trở thành nhiếp chính Scotland.[41]

Mặc dù hoàng hậu nhiếp chính, Mary nhà Giuse, không có hành động nào chống lại Knox, các giám mục tại Scotland xem ông là hiểm họa cho thẩm quyền của họ, triệu tập ông đến Edinburg vào ngày 15 tháng 5 năm 1556. Nhiều nhân vật có thế lực cùng đi với Knox khiến các giám mục phải hủy bỏ buổi xét xử. Theo yêu cầu của William Keith, Bá tước Marischal, Knox viết thư yêu cầu nữ hoàng nhiếp chính ủng hộ cuộc cải cách, nhưng bà không quan tâm đến nó.[42]